图像质量评价研究综述——从失真的角度

随着多媒体技术的快速发展及广泛应用,图像质量评价因其在多媒体处理中的重要作用得到越来越多的关注,其作用包括图像数据筛选、算法参数选择与优化等。根据图像质量评价应用时是否需要参考信息,它可分为全参考图像质量评价、半参考图像质量评价和无参考图像质量评价,前两类分别需要全部参考信息和部分参考信息,而第3类不需要参考信息。无论是全参考、半参考还是无参考图像质量评价,图像失真对图像质量评价的影响均较大,主要体现在图像质量评价数据库构建和图像质量评价模型设计两方面。本文从图像失真的角度,主要概述2011—2021年国内外公开发表的图像质量评价模型,涵盖全参考、半参考和无参考模型。根据图像的失真类型,将图像质量评价模型分为针对合成失真的图像质量评价模型、针对真实失真的图像质量评价模型和针对算法相关失真的图像质量评价模型。其中,合成失真是指人工添加噪声,如高斯噪声和模糊失真,通常呈现均匀分布;真实失真是指在图像的获取中,由于环境、拍摄设备或拍摄操作不当等因素所引入的失真类型。相对合成失真,真实失真更为复杂,可能包括一种或多种失真,数据收集难度更大;算法相关失真是指图像处理算法或计算机视觉算法在处理图像时,由于算法本身的缺陷或性能不足等原因而出现在结果图像中的降质,相对合成失真和真实失真,算法相关失真的显著特点是该类型失真呈现非均匀分布。本文介绍现有的图像质量评价数据库,包括图像数据来源和数据库构建细节等;然后重点介绍图像质量评价模型的设计思想。最后总结了介绍的图像质量评价模型,并指出未来可能的发展方向。     

视觉语言多模态预训练综述

在多模态机器学习领域,为特定任务而制作的人工标注数据昂贵,且不同任务难以进行迁移,从而需要大量重新训练,导致训练多个任务时效率低下、资源浪费。预训练模型通过以自监督为代表的方式进行大规模数据训练,对数据集中不同模态的信息进行提取和融合,以学习其中蕴涵的通用知识表征,从而服务于广泛的相关下游视觉语言多模态任务,这一方法逐渐成为人工智能各领域的主流方法。依靠互联网所获取的大规模图文对与视频数据,以及以自监督学习为代表的预训练方法的进步,视觉语言多模态预训练模型在很大程度上打破了不同视觉语言任务之间的壁垒,提升了多个任务训练的效率并促进了具体任务的性能表现。本文总结视觉语言多模态预训练领域的进展,首先对常见的预训练数据集和预训练方法进行汇总,然后对目前最新方法以及经典方法进行系统概述,按输入来源分为图像—文本预训练模型和视频—文本多模态模型两大类,阐述了各方法之间的共性和差异,并将各模型在具体下游任务上的实验情况进行汇总。最后,总结了视觉语言预训练面临的挑战和未来发展趋势。     

融合视觉词与自注意力机制的视频目标分割

目的 视频目标分割(video object segmentation,VOS)是在给定初始帧的目标掩码条件下,实现对整个视频序列中感兴趣对象的分割,但是视频中往往会出现目标形状不规则、背景中存在干扰信息和运动速度过快等情况,影响视频目标分割质量。对此,本文提出一种融合视觉词和自注意力机制的视频目标分割算法。方法 对于参考帧,首先将其图像输入编码器中,提取分辨率为原图像1/8的像素特征。然后将该特征输入由若干卷积核构成的嵌入空间中,并将其结果上采样至原始尺寸。最后结合参考帧的目标掩码信息,通过聚类算法对嵌入空间中的像素进行聚类分簇,形成用于表示目标对象的视觉词。对于目标帧,首先将其图像通过编码器并输入嵌入空间中,通过单词匹配操作用参考帧生成的视觉词来表示嵌入空间中的像素,并获得多个相似图。然后,对相似图应用自注意力机制捕获全局依赖关系,最后取通道方向上的最大值作为预测结果。为了解决目标对象的外观变化和视觉词失配的问题,提出在线更新机制和全局校正机制以进一步提高准确率。结果 实验结果表明,本文方法在视频目标分割数据集DAVIS (densely annotated video segmentation)2016和DAVIS 2017上取得了有竞争力的结果,区域相似度与轮廓精度之间的平均值J&F-mean (Jaccard and F-score mean)分别为83.2%和72.3%。结论 本文提出的算法可以有效地处理由遮挡、变形和视点变化等带来的干扰问题,实现高质量的视频目标分割。     

脉冲视觉研究进展

视频是视觉信息处理的基础概念,传统视频的帧率只有几十Hz,不能记录光的高速变化过程,成为限制机器视觉速度的天花板,其根本原因在于视频概念脱胎于胶片成像,未能发挥电子和数字技术的潜力。脉冲视觉模型通过感光器件捕获光子,累积能量达到约定阈值时产生脉冲,形成脉冲的时间越长,表明收到的光信号越弱,反之光信号越强,据此可估计任意时刻的光强,从而实现连续成像。采用普通器件,研制了比影视视频快千倍的超高速成像芯片和相机,进而基于脉冲神经网络实现了超高速目标检测、跟踪和识别,打破了机器视觉提速依赖算力线性增长的传统范式。本文从脉冲视觉模型表达视觉信息的生物学基础和物理原理出发,介绍了脉冲视觉原理的软件模拟器及其模拟真实世界光子传播的计算过程,描述了基于脉冲视觉原理的高灵敏光电传感器件及芯片的工作机理和结构设计、基于脉冲视觉的影像重建原理以及脉冲视觉信号与普通图像信号融合的计算摄像算法与计算摄像系统,介绍了基于脉冲神经网络的超高速运动目标检测、跟踪与识别,通过对比国际国内相关研究内容和发展现状,展望了脉冲视觉的发展与演进方向。脉冲视觉芯片和系统在工业(高铁、电力和轮机等不停机监测,智能制造高速监视等)、民用(高速相机、智能交通、辅助驾驶、司法取证和体育判罚等)以及国防(高速对抗)等领域都具有巨大应用潜力,是未来值得重点关注和研究的一个重要方向。     

老年人电脑VDT使用现状及照明要求调研分析

退休年龄延迟、退休返聘现象常态化以及互联网的快速发展,促使电脑、手机等视频显示终端(VDT)在老年人生活、工作中的需求量及使用率递增,但VDT作业也容易诱发老年人视觉疲劳。本文采用问卷访谈的方式,对老年人群的电脑使用现状、照明环境现状及需求、视疲劳状况进行调查分析。结果显示:老年人电脑VDT作业时间较长,视疲劳发生率较高;老年人VDT作业时对照明有需求,但对照明现状满意度不高;老年人倾向较高的环境亮度和屏幕亮度,偏爱白色光,认为环境亮度、屏幕亮度、光色是影响VDT视疲劳程度的主要因素。基于老年人的视觉特征,提出老年人对VDT照明环境的要求:较高的环境亮度;较大亮度对比度;高质量的显色性,避免低色温;应尽量避免眩光。本研究结论可为下一步研究适宜于老年人VDT作业的照明参数奠定基础。     

基于视觉工效的飞机内部泛光照明标准优化研究

探讨了飞机内部泛光照明指标范围内照度对视觉工效的影响,以此推荐设计目标值,为机组人员提供更好的光照环境。选取15名被试进行了视觉任务测量和主观量表评估相结合的实验。结果表明:视觉任务受光照的影响显著,经过综合评估推荐60 lx作为仪表板泛光照明优化值,215 lx作为阅读和书写的优化照度值,既满足被试的功能性使用需求同时也兼顾了舒适性。     

面向变电站安全隔离的一体化通信分析平台构建

为有效提高检修和改扩建过程的可靠性与安全性,构建了面向变电站安全隔离的一体化的通信模拟与分析平台。依据ADPSS所需要仿真的一次系统的规模和配置信息,确定以IEC61850 SCL来描述一次元件及其配置信息的方法,实现了一次仿真建模配置和一二次系统的模型关联。把针对一次动态闭环仿真的ADPSS测试技术纳入基于站内IEC61850模型配置SCD文件的二次系统调试分析架构。在所构建的一体化的通信模拟与分析平台基础上,提出了典型的二次系统运行状态切换方案。通过模拟变电站带电运行状态,反复试验二次设备的检修、修改、更换等实际操作,提高检修和改扩建过程的可靠性与安全性。     

基于BIM的可视化建筑运维系统构建研究

随着BIM技术的推广普及,三维信息模型在建筑全生命周期中的应用渐成关注的热点。深入剖析BIM可视化建筑运维系统的应用前景,并系统地探讨其运行模式基本架构与主要功能。借助项目案例,以实现构件体块与参数信息之间的"剥离"和"链合"为核心技术,完整地展现从BIM竣工模型到可视化运维系统的实现技术路线,为智能化建筑运维管理系统的构建与应用提供可靠的依据。     

流变混凝土骨料运动模拟试验研究

用卡波姆凝胶配制与流变混凝土浆体流变性能等效的透明浆体,通过可视化物模试验模拟得到流变混凝土骨料的运动规律.基于真实与模拟介质流动图像、振动骨料分布实时一致性原则,分析了拌和物流动过程形变、振动骨料沉降特点及其形成机理.结果表明:流变混凝土基于等效流变性能的可视化模拟方法独特可行,可直观获取骨料沉降运动规律以及速度场、位移场等运动形态参数,为进一步研究流变混凝土的本构关系及颗粒接触模型提供基础.     

基于视知觉的小学建筑色彩设计研究

该文从视知觉的角度出发,通过对儿童的色彩心理进行分析,总结不同色彩在小学建筑中的具体应用,提出小学建筑色彩的设计原则,为以后小学建筑在色彩方面的设计提供一些新思路与方向,使其能更适应于当前素质教育的要求。